Perkins được sinh ra ở Thành phố New York, con trai của diễn viên kịch và phim Osgood Perkins and và vợ ông ấy, Janet Esselstyn (nhũ danh Rane). Ông cố bên nội của Anthony là một người điêu khắc gỗ Andrew Varick Stout Anthony.[1] Do cha ông thường đi lưu diễn với gánh hát nên thường không gần gũi với Anthony, vì thế ông rất gắn bó với mẹ của mình, ông rất ghen tị với cha của mình mỗi khi cha ở nhà nên ông thường ước mong rằng cha mình sẽ chết.Và khi lên năm thì cha Anthony mất vì đau tim. Vì như thế ông thường cảm thấy rất tội lỗi mỗi khi nhắc đến cha của ông. Anthony cũng là hậu duệ của một hành khách trên con tàu Mayflower, John Howland. Ông theo học tại trường The Brooks School, The Browne & Nichols School, Columbia University và Rollins College, và chuyển tới Boston vào năm 1942.[2]